【深度学习】卷积神经网络中Dropout、BatchNorm的位置选择 | 您所在的位置:网站首页 › bn 过拟合 › 【深度学习】卷积神经网络中Dropout、BatchNorm的位置选择 |
前言
卷积神经网络的设计自然要考虑到各层之间的顺序。这种“考虑”既有原理性的解释也有经验方面的原因。本文主要介绍一些层常见的位置选择,并对其原因进行分析,从中提取共性有利于其他模型的设计。 Dropout层的位置Dropout一般放在全连接层防止过拟合,提高模型返回能力,由于卷积层参数较少,很少有放在卷积层后面的情况,卷积层一般使用batch norm。 全连接层中一般放在激活函数层之后,有的帖子说一定放在激活函数后,个人推测是因为对于部分激活函数输入为0输出不一定为0,可能会起不到效果,不过对于relu输入0输出也是0就无所谓了。 BatchNormBatchNorm归一化放在激活层前后好像都有,最初LeNet有一种归一化放在了激活层池化层后面,而现在普遍放在激活层前。 https://www.cnblogs.com/shine-lee/p/11989612.html#bn%E5%B1%82%E6%94%BE%E5%9C%A8relu%E5%89%8D%E9%9D%A2%E8%BF%98%E6%98%AF%E5%90%8E%E9%9D%A2%EF%BC%9F |
CopyRight 2018-2019 实验室设备网 版权所有 |